Oracle 数据仓库在超融合架构下的跑批性能验证

Original 深耕金融行业的志凌海纳SmartX

2024-11-01

作者：深耕行业的 SmartX 金融团队

前言

超融合架构因其先进的分布式架构、软件定义模式和融合部署等特性，已经受到越来越多客户的认可，其应用场景已逐步覆盖大部分生产业务。但在一些重要业务场景，用户对于超融合架构的适用性仍有疑虑。为此，我们整理了 SmartX 一线技术团队和行业用户共同开展的业务场景超融合方案适用性验证，希望相关的数据和结论可以为行业客户 IT 基础架构转型提供有益参考。

本次，我们将介绍 SmartX 超融合对 Oracle 数据仓库跑批性能支持与优化的验证。

数据仓库简介

数据仓库（Data Warehouse）是一种面向分析和报告的数据管理系统。通常，数据定期从事务系统、关系数据库和其他来源流入数据仓库，数据仓库能够集中并整合多个来源的大量数据。企业中的业务分析师、数据工程师、数据科学家和决策者通过商业智能（BI）工具、SQL 客户端和其他分析应用程序访问数据，从中获得宝贵的业务洞察，以改善决策。

项目背景

某金融客户在生产环境使用 Oracle 数据仓库为 Crystal Reports（水晶报表）系统提供数据加工和数据处理。随着业务量和数据量的增长，Oracle 数据仓库跑批的性能越来越差，目前跑批工作是从凌晨开始到早上 6 点结束，考虑到后期数据量还会继续增大，可能会继续增加跑批时间，影响白天业务正常开展。因此，客户希望能够优化基础架构，缩短数仓跑批运行时间。

同时，生产环境的数据仓库还部署在 IBM 小型机上，虽然运行较为稳定，但由于小型机使用年限较长，考虑到设备运行风险及运维复杂度等问题，客户希望进行小机下移 x86 的可能性验证，以应对未来的业务增长。

基于以上两点原因，客户希望使用 SmartX 超融合测试 Oracle 数据仓库跑批性能。

测试目标与方法

本次测试是为了验证 Oracle 数据仓库在超融合架构下的跑批性能表现。在数据量完全相同的情况下，对比生产环境现有方案与基于 SmartX 超融合的 Oracle 数据仓库跑批时间，一共进行 3 轮跑批测试，时间越短表现越优异。

生产环境

数据仓库跑批数据流

将 DB2 数据库的数据，通过 Informatica（ETL 抽数工具）抽取到 Oracle 数据仓库当中，接下来进行 Oracle 数据仓库跑批，完成数据加工和数据处理的工作。

生产环境数据仓库基础架构

数据仓库系统组件资源配置

生产环境数仓部署在 IBM AIX 系统。

测试环境

硬件拓扑

超融合服务器硬件配置

数据仓库系统组件资源配置

验证环境数仓部署在 RHEL4.8 操作系统。

测试数据

基于客户的测试目标和测试场景，Oracle 数据仓库在超融合架构和生产环境的跑批测试数据如下图所示：

测试结论与项目亮点

经过多轮测试验证，SmartX 超融合架构相比原生产架构的小机 + 集中式存储，在进行 Oracle 数据仓库跑批时有明显的性能提升，跑批时间可有效缩短 36%，并得到客户认可。
验证了 Oracle 数据仓库从小机下移 x86 服务器的可行性，为客户后续使用 SmartX 超融合替换小机 + 集中式存储，提供了量化参考依据；
提高了资源利用率——Oracle 数据仓库跑批业务通常是在夜间运行，超融合架构在白天可以支撑其他应用和数据库等业务。这样，基础架构硬件资源可以得到充分的复用，最大化资源利用效率。

延伸思考

以上测试仅验证了超融合架构支撑 Oracle 数据仓库系统跑批的性能的可行性和优势。除此之外，超融合方案还会为企业开展关键业务带来如下价值：

提升可靠性与可用性：针对关键业务系统最关注的可靠性问题，目前 SmartX 也为用户提供诸多超融合容灾备份方案，在提升效率和降低成本的情况下，提升系统的可靠性和可用性。欲详细了解 SmartX 容灾备份解决方案，请阅读：一文了解 SmartX 超融合容灾备份解决方案。
简化运维：超融合架构基于软件定义模式和通用服务器，相对于小型机方案，可以非常有效地降低系统运维复杂度以及投入成本。
资源整合：对于绝大多数金融客户，超融合的计算虚拟化和分布式存储可以有效统一整合各类 IT 系统的计算和存储资源，进一步降低整体 IT 的复杂度和投入成本。
弹性扩展：SmartX 超融合架构具有简单、易操作的横向扩展能力，在扩展容量及计算资源的同时也得到近乎线性的性能提升。